oft 



TRAITE Dfc COOPERATION EN MATIERE DE^REVETS 

PCT 



RAPPORT DE RECHERCHE INTERNATIONALE 
(article 18 et regies 43 et 44 du PCT) 



Reference du dossier du deposant ou 
du mandataire 

B13371.3JCI 


POUR SUITE voir ,a notification de transmission du rapport de recherche internationale | 
(formutaire PCT/ISA/220) et, le cas echeant, ie point 5 ci-apres 

ADONNER 


Demande internationale n° 

PCT/FR 01/01274 


Date du depot international (jour/mois/annee) 

26/04/2001 


(Date de priorite (la plus ancienne) 
(jour/mois/annee) 

27/04/2000 


Deposant 

COMMISSARIAT A L'ENERGIE ATOMIQUE 



Le present rapport de recherche internationale, etabli par Padmini strati on chargee de la recherche internationale, est transmis au 
deposant conformement a Particle 18. Une copie en est transmise au Bureau international. 

Ce rapport de recherche internationale comprend 2 feuilles. 

|"X~| II est aussi accompagne d'une copie de chaque document relatif a Petat de la technique qui y est cite. 



1 . Base du rapport 

a. En ce qui concerne la langue, la recherche internationale a ete effectuee sur la base de la demande internationale dans la 
langue dans iaquelle elle a ete deposee, sauf indication contraire donnee sous le meme point. 

[ | la recherche internationale a ete effectuee sur la base d'une traduction de la demande internationale remise a I'administration. 



b. 



En ce qui concerne les sequences de nucleotides ou d'acides amines divulguees dans la demande internationale (le cas echeant) ; 
la recherche internationale a ete effectuee sur la base du I i stage des sequences : 
| | contenu dans la demande internationale, sous forme ecrite. 

deposee avec la demande internationale, sous forme dechiffrable par ordinateur. 
remis ulterieurement a I'administration, sous forme ecrite. 
rem is ulterieurement a I'administration, sous forme dechiffrable par ordinateur. 



2. 
3. 



□ 
□ 
□ 
□ 

□ 

□ 
□ 



La declaration, selon Iaquelle le listage des sequences presente par ecrit et fourni ulterieurement ne vas pas au-dela de la 
divulgation faite dans la demande telle que deposee, a ete fournie. 

La declaration, selon Iaquelle les informations enregistrees sous forme dechiffrable par ordinateur sont identiques a celles 
du listage des sequences presente par ecrit, a ete fournie. 

II a ete estime que certaines revendications ne pouvaient pas faire I'objet d'une recherche (voir le cadre I). 
II y a absence d 'unite de I* invention (voir le cadre II). 



4. En ce qui concerne le titre, 

|~X~| le texte est approuve tel qu'il a ete remis par le deposant. 

| | Le texte a ete etabli par I'administration et a la teneur suivante: 



En ce qui concerne I'abrege, 

|Y] ' e texte est approuve tel qu'il a ete remis par le deposant 

□ le texte (reproduit dans le cadre III) a ete etabli par I'administration conformement a la regie 38.2b). Le deposant peut 
presenter des observations a I'administration dans un delai cTun mois a compter de la date cf expedition du present rapport 
de recherche internationale. 

La figure des dessins a publier avec I'abrege est la Figure n° Xa 

[X] suggeree par le deposant. |_] Aucune des figures 

□ n'est a publier. 
parce que le deposant n'a pas suggere de figure. 

| | parce que cette figure caracterise mieux Pinvention. 
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contours are defined by simple parameters 
of length, inclination, position and the like. 
For each new image, the previously acquired 
knowledge of the environment is used to 
fine-tune the estimates while introducing into 
the model the new contours of the objects 
which have appeared. 

(57) Abrege : Dans ce systeme, des objets 
tridimensionnels (1, 5, 6) d'un environnement 
pouvant etre tres complexe sont discernes en 
feperant leurs formes simples de contour sur 
des images, puis on mesure les caracteristiques 
geometriques de ces objets et leurs positions 
et orientations. Les contours sont definis 
par des parametres simples de longueur, 
d'inclinaison, de position, etc. A chaque 
nouvelle image, on utilise la connaissance 
acquise de renvironnement pour affiner 
les estimations tout en introduisant dans le 
modele les nouveaux contours d' objets qui 
sont apparus. 
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PROCEDE DE MESURAGE D'UN OBJET TRIDIMENS IONNEL , OU D'UN 

ENSEMBLE D * OB JETS 

DESCRIPTION 

L' invention est un procede qui permet de 
5 determiner la geometrie, la position et 1 ' orientation 
d'un ou plusieurs objets dans un environnement . 
L'objectif est de fournir des informations 
dimensionnelles ou de mesurage sur des primitives 
tridimensionnelles (points, droites, cercles, 

10 cylindres, -..) representant ces objets en exploitant 
une projection sur des images acquises par un ou 
plusieurs capteurs . Ces donnees dimensionnelles sont 
exploitees pour le controle dimensionnel d' objets 
manufactures (prototype ou serie) , la mesure de 

15 deformation de structure, la modelisation 

d' environnement s industriels . 

II existe plusieurs grandes families de 
procedes pour accomplir ce genre de mesurages . Certains 
impliquent une mesure directe des objets de 

20 1 ' environnement par la pointe d'un palpeur, mais cette 
methode n'est pas tou jours possible a appliquer et 
devient tres longue des que 1 ' environnement est 
volumineux, encombre ou de forme compliquee ; elle est 
impensable quand il a les dimensions d'un local entier. 

25 D'autres methodes recourent a la telemetrie, c'est-a- 
dire qu'on mesure les distances a differents points de 
1 ' environnement sans contact materiel ; un laser est 
successivement dirige vers ces points et la mesure 
porte sur le temps de vol ou le dephasage de 1 ' onde . Un 
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miroir ou un systeme mecanique est utilise pour diriger 
incessamment le rayon du laser vers d'autres points, ce 
qui permet des mesurages rapides de l'environnement, 
mais on observe que cette methode n'est pas toujours 
5 tres precise (bien que la resolution ne soit limitee 
que par le systeme de balayage du laser) et 
s ' accompagne d'erreurs quand le faisceau touche des 
objets ref lechissants , et il faut aussi s' assurer de la 
stabilite du systeme mecanique pendant le balayage et 

10 veiller a la securite des personnes susceptibles de se 
trouver dans le volume de mesure . 

D'autres methodes sont des methodes 
optiques dans lesquelles une camera est deplacee devant 
l'environnement a mesurer et prend une succession 

15 d' images. Les details de l'environnement sont 
identifies sur les differentes images et leur position 
est calculee par des triangulations selon leur position 
sur les images respectives et les positions connues a 
l'avance de la camera, en fonction des parametres de 

20 prise d' image, de celle-ci . Parfois, on identifie un 
reseau de points de l'environnement, qui ont ete 
illumines par un laser ou un projecteur d'un faisceau 
de rayons ; une lumiere additionnelle peut etre ajoutee 
pour mieux eclairer les alentours du reseau de points 

25 et le faire ressortir du reste de l'environnement. 
L ' utilisation d'un moyen d' illumination rappelle les 
procedes de telemetrie et entraine des inconvenients 
analogues d' imprecision et d ' insecurite , qui ne 
compensent pas toujours la rapidite et la facilite de 

30 1 ' identification et des calculs qu ' on peut souvent 
atteindre . 
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Dans d'autres methodes, les points a 
mesurer sont des sources lumineuses, des marques 
ref lechissantes ou colorees posees auparavant dans 
1 ' environnement . Ces methodes donnent de bons resultats 
5 si les marques et leur position sont convenablement 
choisies, mais elles ne sont pas applicables dans tous 
les cas et notamment pour des environnements compliques 
et de grande taille : elles semblent surtout 
interessantes pour suivre la position d'un objet 

10 determine et mobile dans 1 ' environnement plutot que 
pour mesurer 1 ' environnement lui-meme. 

Enfin, d'autres procedes optiques sont 
fondes sur 1' absence de marques dans 1 ' environnement et 
sur le mesurage de certains points d'interet des 

15 images- Les points d'interet sont choisis 
automatiquement ou par 1 ' operateur dans le cas de 
procedes interactifs. Ces procedes ont 1 ' avantage 
d'etre universels ou applicables theoriquement a 
n'importe quel environnement, mais il n'est pas 

20 toujours facile de disposer de points d'interet 
suffisamment nombreux, et qui soient communs a toutes 
les images ; 1 ' etape d' appariement des points 
homologues sur des images differentes peut etre 
delicate ; de plus, une description d'un environnement 

25 par des points meme nombreux est peu evocatrice. 

L ' invention constitue un procede faisant 
partie des methodes purement optiques et plus 
precisement de celles qui comportent une analyse 
d' image. Ce riouveau procede peut comporter des 

30 triangulations , mais il se distingue f ondamentalement 
des procedes precedents en ce qu ' on s'interesse ici a 
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distinguer des details de 1 ' environnement plutot qu'a 
dresser une cartographie de ses points, II est en effet 
souvent plus facile et fructueux de discerner un 
element precis de 1 ' environnement et de le distinguer 
5 du reste, que de disposer d'une connaissance complete 
mais indistincte de cet environnement. Dans le cas, 
frequent en pratique, de mesurage de locaux 
industriels, cette consideration sera d'autant plus 
importante que les elements et obstacles sont souvent 

10 nombreux mais de forme simple, de sorte qu'ils se 
superposent et creent un relief tres complique, mais 
que 1 ' exploitation de la representation faite est 
beaucoup plus facile quand on a distingue ces elements 
et qu'on les a caracterises par quelques parametres de 

15 position et de forme. 

Les avantages offerts par le procede sont 
multiples : il n'est point besoin de garnir 
1 ' environnement de marques specif iques ; une portion 
beaucoup plus importante de 1 ' information des images 

20 est exploitee que si on s'occupe de points d'interet, 
ce qui doit donner une precision meilleure de la 
representation qu'on obtient ; le procede est efficace 
meme avec des surfaces variees, diffusantes ou 
ref lechissantes ; il est applicable a des volumes 

25 varies, eventuellement tres grands ; la duree 
d' acquisition est extremement rapide, de quelques 
dizaines de millisecondes ; une automatisation complete 
du procede est possible ; la representation peut etre 
parachevee ulterieurement en y ajoutant de nouvelles 

3 0 entites, qui avaient ete negligees auparavant, ou la 
corrigeant par des mises a jour ou d'autres 
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operations ; et comme elle fournit immediatement un 
modele concret de 1 ' environnement , elle peut etre 
exploitee immediatement, alors qu'une cartographie de 
points necessite d'etre interpretee. 
5 Le procede est fonde sur un systeme compose 

de cinq modules principaux dont voici la liste : 

— un module de traitement d' images qui assure la 
localisation precise des contours naturels des objets 
a reconstruire ; 

10 - un module de reconstruction et localisation qui 
determine les parametres geometriques des objets et 
la situation du systeme de capture d' images ; 

— un module d' identification qui realise la recherche 
automatique des contours naturels des objets deja 

15 reconstruits ; 

— un module d' appariement de points d'inter^t, pour 
aider a replacer ces contours d' objets reconstruits 
sur une nouvelle image ; 

— et un module de reconstruction en bloc, faisant un 
20 calcul d' ensemble ( recapi tulatif ) d'apres toutes les 

informations disponibles et ameliorant grandement la 
precision. 

La mise en oeuvre de ce procede necessite 
une ou plusieurs video-cameras etalonnees au prealable 

25 (quoique l'etalonnage ne soit pas necessaire si on se 
limite a des primitives de type ponctuel) , afin de 
disposer de la relation entre tout point de 1 ' image et 
la position du rayon lumineux associe. Les etalonnages 
prealables ont deja ete decrits par differents 

30 auteurs ; on peut citer 1' article de Viala, Chevillot, 
Guerin et Lavest : « Mise en oeuvre d'un procede 
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d'etalonnage precis de camera CCD » presente au n* me 
congres Reconnaissance des formes et Intelligence 
Artif icielle (Clermont-Ferrand, 20 au 22 janvier 1998) . 
Quand plusieurs cameras sont employees, on parle d'un 
5 systeme stereoscopique apte a donner automatiquement un 
modele tridimensionnel de 1 ' environnement par une 
recherche de points homologues sur les images et des 
triangulations . Si une seule camera est employee, le 
meme resultat peut etre obtenu par des images 
10 successives en deplagant la camera d'une quantite 
determinee. Cette quantite peut egalement etre 
determinee, a posteriori, par calcul si on dispose dans 
1 ' environnement d'un metre e talon. 



15 procede de mesurage d'objets tridimensionnels d'un 
environnement tridimensionnel, consistant a prendre au 
moins une image par au moins une camera et a creer une 
representation de 1 ' environnement d'apres une analyse 
de 1' image, caracterise en ce que 1 ' analyse comprend 

20 une detection de discontinuites d' aspect de 1' image, 
une association des discontinuites detectees a des 
contours geometriques definis sur 1 ' image par des 
parametres, un ajustement des contours aux 
discontinuites en faisant varier les parametres, une 

25 estimation de forme et de position dans 1 ' environnement 
d'objets geometriques se projetant sur 1 ' image d'apres 
lesdits contours, la representation comprenant lesdits 
obj ets . 



3 0 completee a chaque nouvelle image prise ou par des 
informations supplementaires . Le procede peut ainsi 



Pour resumer, 1 ' invention est relative a un 



La representation de 1 ' environnement est 
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comprendre des estimations initiales de position des 
objets ou de la camera a partir d ' informations 
specifiees manuellement ou a travers un fichier 
informatique de description. 
5 D'une maniere generale, le procede peut 

etre accompli avec bien des variantes , et de la 
souplesse selon la situation rencontree. Une 
possibility offerte par certaines des meilleures 
realisations est une correction de position des objets 

10 en estimant les positions de projection des objets sur 
les images d'apres les position respectives de la 
camera quand les images furent prises, et en ajustant 
les positions de projection estimees d'apres les 
positions de projection mesurees sur les images. 

15 Cette correction est generalement faite au 

cours d'un calcul final recapitulatif ou 1 ' erreur 
totale de la representation est estimee puis 
minimisee ; on peut aussi rectifier 1' estimation des 
parametre des cameras . 

2 0 On passe maintenant a la description d'une 

realisation concrete de 1' invention au moyen des 
figures suivantes : 

■ la figure 1A est un schema d'un systeme d'examen 
dans un environnement typique ; 

25 ■ la figure IB illustre comment 1 ' environnement est 
pergu sur une image ; 

■ la figure 2 schematise les modules de traitement du 
systeme d'examen ; 

■ les figures 3, 4, 5 et 6 illustrent des 
30 modelisations de contours ; 
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■ et les figures 7 et 8 explicitent certaines 
notations utilisees dans la description. 

Les modules enumeres ci-dessus portent les 
references 20 a 24 sur la figure 2 ; ils seront 
5 maintenant decrits successivement d'apres l'exemple de 
la figure 1A, ou 1 ' environnement a reconnaitre comprend 
un tuyau 1 doublement coude en 2 et 3 et finissant sur 
une ouverture 4, une caisse 5 et une lampe 6. 
L'appareil de visualisation, appele capteur 7, comprend 

10 deux video-cameras 8 et 9 montees rigidement (quoique 
de fagon reglable si necessaire) sur un support commun 
10 et reliees a un systeme d ' exploitation 11 qui 
comprend en particulier une memoire 12 ou les images 
des cameras 8 et 9 sont conservees et une unite de 

15 traitement 13. Le procede conforme a 1' invention 
consiste a exploiter les images les unes apres les 
autres en creant une representation de 1 ' environnement 
qu'on complete et precise en exploitant chaque nouvelle 
image. Ce travail est pour I'essentiel automatique, 

20 quoiqu'un operateur doive encore, en pratique, 
appliquer son jugement pour completer ou corriger la 
representation dans certaines circonstances . 

Nous entendons par representation de 
1 ' environnement la mesure de caracteristigues 

25 geometriques ou dimensionnelles d'un ou plusieurs 
objets, la mesure de caracteristiques geometriques ou 
dimensionnelles d' elements ou d' objets constituant une 
scene ou un environnement. Ce terme se rapportera 
egalement a la mesure de la position et de 

30 1 ' orientation d'un ou plusieurs objets. 





WO 01/81858 



PCT/FR01/01274 



9 



Une image de camera consiste en un reseau 



de points ayant des niveaux de gris differents, qui 
sont convertis en valeurs numeriques pour la 
conservation dans la memoire 12. La figure IB montre 
5 que les contours du tuyau 1, de son ouverture 4, de la 
caisse 5 et de la lampe 6 peuvent etre representees 
respectivement par trois paires de segments (appeles 
ici limbes) paralleles ou sensiblement 14, 15 et 16, 
une ellipse 17, neuf segments de droite 18, et un point 
10 19. En pratique, ces contours separent des portions de 
teintes differentes sur 1 ' image et sont done des 
discontinuites , ce qu'on exploite ' pour les mesurer ; 
e'est la tache du module de localisation 20. 



15 une image s ' appuie sur des modeles dits deformables ou 
contours actifs (cf. 1' article de Kass, Witkin et 
Terzopoulos : « Snake : Active contour models » dans 
International Journal of Computer Vision, 1(4), p. 321 a 
331, janvier 1988 et la these de Bascle a l'universite 

20 de Nice-Sophia Antipolis (janvier 1994) « Contributions 
et applications des modeles deformables en vision par 
ordinateur ») . lis consistent a faire evoluer 
numeriquement a partir d'une position initiale un 
modele deformable de contour tout en calculant son 

25 energie apres chaque deformation. Cette energie 
comporte traditionnellement deux termes dont le premier 
exprime la regularite geometrique du modele et rend 
compte de proprietes physiques eventuelles et le second 
rend compte de 1' adequation entre le modele et 1 ' image 

3 0 experimentale obtenue . Concretement , ce traitement a 
pour but de regulariser le modele en reduisant ses 
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irregularites locales, generalement imputables au 
bruit, sans trop s'ecarter des informations de 
1' image ; mais il ne fonctionne bien que sur des images 
peu complexes, ce qui n'est pas le cas ici. De plus, on 
5 propose ici une amelioration en decrivant certains 
elements de 1 ' image par des parametres geometriques 
globaux. On pourra done dire que les modeles de 
1 ' environnement qu'on obtiendra seront a la fois 
def ormables et parametriques . 

10 Les contours auxquels on s'interesse ici 

ont des formes simples et appartiennent a quelques 
types privilegies qu'on rencontre tres frequemment dans 
la realite : ce sont, comme on 1'illustre a la figure 
IB, avant tout le point, la droite, la double droite et 

15 1' ellipse. Un point sera modelise par ses coordonnees 
cartesiennes x et y sur 1' image. Comme les images sont 
finies, les droites seront modelisees par des segments 
et leurs parametres sur 1 ' image seront au nombre de 
quatre : les coordonnees x 0 et y 0 du milieu du segment, 

20 la longueur L du segment et 1 ' angle 6 qu'il forme avec 
1 'horizontale sur 1' image, comme le resume la figure 3. 
Tout point du segment obeira aux equations 

f L " 

x = x 0 + u — cos 6 

(1) \ I 

Y = Yo + u - sin 9 

avec u compris entre -1 et +1 et 9 compris entre 0 et 
25 rc. 

Un cylindre sera apprehende par ses 
contours ou limbes. 11 s ' agira de deux segments 
paralleles, sauf si 1 ' on admet l'effet de la 
perspective. Un modele convenable est resume par la 
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20 



figure 4 et comprend cinq parametres : les coordonnees 
x 0 et yo de l'isobarycentre du systeme forme par les 
deux segments, la longueur commune L des deux segments, 
1' angle G forme par les deux segments avec 
1 ' horizontale et la distance d separant les deux 
segments. Les coordonnees des points des deux segments 
sont donnees par les equations 



(2) 



L d 
x = x 0 + u — cos(6) + — sin (9) 
2 2 

L d 
y = y 0 + u — sin(e) - — cos(9) 



et (3) 



L d 
x = x 0 + u — cos(9) sin(9) 

2 2 

L d 
y = y 0 + u — sin(9) h cos(0) 

2 2 



avec u (parametre de parcours) compris entre -1 et +1. 

Mais si on veut tenir compte d'un effet de 
perspective, le modele precedent peut etre enrichi des 
parametres 59 exprimant des deviations en sens opposes 
et convergent des deux segments, comme 1 ' exprime la 
figure 5 ; les points selectionnes par 1 ' operateur sont 
alors au nombre de 4. Les equations 



(4) 



L d 
x = x 0 + u — cos(9 + 59) + — sin(9) 

2 2 

y = y Q + u ^ sin(9 + 59) - ^ cos(9) 



et (5) 



x =x q + u^ cos (9-59)-|-sin (9) 
y = y o +u |sin (9-59)+ & cos(8) 



remplaceront les equations (2) et (3). 

La projection d'un cercle dans 1 ' espace sur 
une image bidimensionnelle est une ellipse dont un 
parametrage possible peut etre lu sur la figure 6 : les 
parametres sont les coordonnees x 0 et y 0 du centre, les 
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longueurs l x et 1 2 de grand et de petit axe et 
1 ' orientation 6 du grand axe par rapport a 
l'horizontale. Les equations 



5 donnent les coordonnees des points de 1' ellipse, ou u 
est un parametre d'abscisse curviligne compris entre 0 



de la representation de 1 ' environnement , en general 
10 manuelle, ou un operateur examine une des images sur un 
ecran d'ordinateur et repere des contours a modeliser. 
Apres avoir choisi le type de contour adapte, il vise 
sur 1 ' ecran un nombre suffisant de points pour definir 
ce contour et permettre un premier calcul des 
15 parametres . 



les figures 3 et 4 : il s'agit des extremites du 
segment, et des extremites d'un limbe de cylindre et 
d'un point de 1 ' autre limbe. Une ellipse est definie 
20 par cinq points. 



contour selectionne par 1 ' operateur ou automatiquement 
a 1 ' image grace a une fonction de potentiel au moyen de 
calculs faits par le module de localisation 20. En 

25 general, 1 ' amelioration d'un modele sur une image est 
chiffree par la diminution successive d'une fonction Pe 
dite de potentiel qui comprend plusieurs termes . Un 
seul terme d'energie suffit ici dans la plupart des 
cas. L.' image est traitee en calculant les differences 

3 0 de niveaux de gris numerises de points voisins, pour 



(6) 



x = x 0 + l x cos(0)cos(u) - 1 2 sin(9)sin(u) 
y = y 0 + 1 ± sin(0)cos(u) + 1 2 cos(0)cos{u) 



et 271. 



Le procede commence par une initialisation 



Ces points sont figures par des etoiles sur 



L'etape suivante est une adequation du 
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associer a chacun des points de 1 ' image une intensite 
de potentiel elevee si le point est dans une zone de 
teinte uniforme, et une intensite de potentiel faible 
s'il est dans une zone de transition ou de 
5 discontinuity de teinte. Si une image de potentiel 
etait representee, elle presenterait des zones foncees 
aux contours des objets et, en general, un fond clair 
ailleurs. La somme du potentiel d'un contour est 
calculee sur tous ses points, puis un algorithme 

10 d' analyse numerique par descente de gradient est mis en 
oeuvre pour calculer les variations du potentiel en 
fonction de la variation des parametres du contour. 
Dans le cas present, c'est plutot la somme quadratique 
£ du potentiel Pe le long du contour C qu'on cherche a 

15 minimiser selon 1' equation 

(7) e min (a) = X p e( x ( a )<y( a ) 

||x, ye C 

ou a est le vecteur des parametres du modele et x, y 
sont les abscisses et les ordonnees des points du 
contour. Outre sa rapidite de convergence, cet outil 
20 numerique presente 1 ' avantage de fournir une evaluation 
de la matrice de covariance sur le modele estime, note 
A a . Cette information sera exploitee par le module de 
reconstruction et de localisation tridimensionnelles . 

On utilise une distance speciale donnee par 

2 5 1' equation 

( 8) f( d ) = l - eM 

pour calculer le potentiel Pe des points de 1' image. 
Cette distance speciale possede les avantages d'etre 
quadratique au voisinage de zero, c'est-a-dire du 
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contour, et d'etre a peu pres constante lorsque la 
distance euclidienne entre points de 1 ' image d devient 
importante . c est un coefficient fixe. Cette distance 
est comparable a un coefficient de ponderation qui 
5 attenue 1' influence des points eloignes dans le calcul 
du potentiel Pe. 

Cependant, un terme de potentiel 
supplementaire est utilise en sus du terme Pe precedent 
pour les contours de cylindre. En effet, il est 

10 frequent que ces elements soient soumis a des 
variations d'eclairage qui y creent des bandes tres 
ref lechissantes de specularites vers lesquelles le 
modele deformable pourrait converger en les confondant 
avec des contours. L ' utilisation de ce terme 

15 supplementaire previent ce danger : il s'agit d'un 
terme de potentiel conventionnellement tres eleve pour 
les points fortement eclaires ; le potentiel total 
ainsi modifies devient eleve autour des bandes 
ref lechissantes , ce qui repousse les contours modelises 

2 0 vers les contours reels du cylindre. 

Il faut encore signaler 1' influence des 
aberrations geometriques introduites par les lentilles 
d'un objectif : une droite dans 1 ' espace se projette en 
segment de courbe, plutot qu'en segment rectiligne, sur 

25 1' image. Les modeles deformables opposes ici ne 
permettent pas d'approcher parfaitement de telles 
parties deformees, mais on peut utiliser un procede de 
correction des aberrations geometriques pour appliquer 
le procede de 1' invention a des images rectifiees, 

30 obtenues sans distorsion. Ce procede de correction est 
fait pour tous les points de 1 ' image a la fois au 
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prealable, et c'est 1 ' image rectifiee qui est conservee 
dans la memoire 12 . 

Les aberrations geometriques sont composees 
de deux termes, dont un terme de distorsion radiale qui 
5 deplace un point radialement par rapport au centre 
optique de 1 ' image et s ' exprime comme un polynome 
d' equation 

(9) 5 r (r) = K x r 3 + K 2 r 5 + K 3 r 7 

en fonction de la distance radiale r = -^x 2 + y 2 ; et un 
10 terme de distorsion tangentielle qui integre une 
composante tangentielle et une composante radiale 
conf ormement aux equations 

|5 T (x) = P x (r 2 + 2x) + 2P 2 xy 
[6 T (y) = P 2 (r 2 + 2y) + 2P x xy ' 

Les coefficients Ki, K 2 , K 3 et Pi et P 2 sont 
15 des coefficients de distorsion estimes pendant 
l'etalonnage de la camera. 

La distorsion radiale est estimee par un 
calcul preliminaire d'une table d' aberration en 
fonction de la distance radiale. Cette table fait 
2 0 correspondre, pour chaque distance radiale r D du centre 
d'une image d'etalonnage distordue, la distance 
correspondante r ND d'un meme endroit dans 1 ' image non 
distordue- L'ecartement entre les valeurs successives 
des distances r D logees dans la table est choisi pour 
25 que la precision minimale A entre des valeurs 
successives de la distance corrigee r ND soit respectee. 
Ce procede permet d'obtenir une precision qui peut 
atteindre un dixieme du pas entre deux points 
successifs de 1' image. 
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On ne prevoit pas de proceder de la meme 
fagon pour tenir compte de la dis torsion tangentielle , 
car les tables donnant des corrections en fonction des 
coordonnees x et y devraient concerner tous les points 
5 de 1 ' image et occuperaient une place excessive en 
memoire. C'est pourquoi, s'il faut tenir compte de ces 
distorsions tangentielles , il est conseille d'utiliser 
un algorithme de recherche de racine d' equation fondee 
sur les equations (10), tel que 1' algorithme de Powell 

10 bien connu dans 1 ' art . 

On passe maintenant a la description du 
deuxieme module 21 du systeme d' exploitation, qui est 
un module de reconstruction et de localisation qui 
exploite les positions des contours d'objets detectes 

15 precedemment sur les images pour estimer la position de 
ces objets dans l'environnement, c'est-a-dire 
construire la representation tridimensionnelle de 
celui-ci, tout en calculant la position du capteur 7 
d' image par une etape de localisation. Le procede est 

20 recurrent, c'est-a-dire que les images sont exploitees 
successivement , la representation de l'environnement 
etant a chaque fois completee et corrigee pour la 
rendre plus precise. II s'agit d'une application du 
filtre de Kalman. On decrit ici 1 ' utilisation d'un 

25 capteur 7 stereoscopique a deux cameras, mais le 
procede serai t applicable a un capteur a camera 
unique : la reconstruction et la localisation ne 
pourraient etre appreciees qu'a un facteur d'echelle 
pres, qu'on pourrait donner en injectant une 

3 0 information supplementaire dans le systeme, telle 
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qu'une distance entre deux points ou le rayon d'un 
cylindre . 

Nous donnons ci-dessus les formules qui 
lient, pour une camera d'indice i du capteur ayant pris 
5 une image a 1' instant k, le vecteur x k des parametres 
de l'objet detecte dans un repere absolu et le vecteur 
z k de ses coordonnees d' observations dans cette image. 
La camera aura sa position notee par une matrice de 
rotation R k et un vecteur de translation t k dans le 
10 repere absolu. Les formules de passage sont notees par 
la lettre h. 

Dans le cas d'un point, les equations 



(11) K(x k ,4) = 



u — f — 



= 0 



ou (xk,yk,zk) c =R£(x,y ,z) c +tj sont respectees, avec 

15 x k = (x, y, z) c , zi=(u,v). 

Dans le cas d'une droite, x k et z k sont 
definis par les vecteurs (13) x k = (x, y, z, J3, <pf , 
zj=(u,v,0), ou P et (p sont les coordonnees spheriques du 
vecteur directeur de la droite et 9 1 ' angle que sa 

20 projection fait sur 1 ' image ; les formules 

(14, ^.^ZUZ^j} 0 

ou x est le produit vectoriel, donnent les conditions a 
satisfaire, ou (m k , v k ) sont les parametres de la droite 
(les coordonnees d'un de ses points m k et, de son 
25 vecteur directeur) conformement aux equations 

(15) m k = R k m + t k , v k = R R v , 
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m P represente les coordonnees de la projection du point 
m k sur 1' image, mi est le milieu du segment detecte sur 
1' image et Vi est le vecteur directeur du segment, 
conf ormement a la figure 7, et et v z sont deduits de 
5 z k . 

Un cylindre infini est defini par le 

vecteur 

(16) x k =(x,y, z,p,<p,r) fc , 

oil x, y et z sont les coordonnees (notees m) d'un point 
10 de son axe, P et <p sont les coordonnees spherigues 

(notees v) du vecteur directeur de son axe, et r est 

son rayon. Les equations 

(17) m k = R*m + t£ et v k = R*v 

expriment la position de 1 ' axe du cylindre dans le 
15 repere de la camera i a 1' instant k. On calcule en 

outre (mi, v x ) et (m 2 , v 2 )/ les coordonnees de ses 

limbes, et m P i et m P2 les projections de points mi et m 2 

des limbes sur 1 ' image . A partir des parametres mesures 

sur 1 ' image 
20 (18) (u, v, 9, 59, d) , 

on deduit le vecteur d ' observation z k =(ui, 

vi, 9i, u 2 , v 2 , 9 2 ) correspondant aux points milieux et 

aux orientations des deux limbes observes et on obtient 

1' equation de mesure 

'(mil— ma )cvii ^ 



~- , • / • \ vii.(mixvi) 

25 (19) k^zfe)^^^ 

Vl:.(ltl2XV2 ) 



V 



=0 



La figure 8 represente ces parametres . 
Conf ormement au cas de la droite, v IX et m n , v I2 et m I2 
sont deduits de z k . 
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Quant au cercle, il est defini par un 
vecteur d'etat conforme a la formule 

(20) y:^(y: t y r z t ^ t ip t r) t f 
ou x, y et z designent les coordonnees de son centre, P 
et q> les coordonnees spheriques du vecteur directeur de 
sa normale et r son rayon. De plus, les formules 

(21) m k = R> + t£ et v k = v 
s ' appliquent . Si les coordonnees d' observation sont 
representees par la fonction 

(22) 4 = (u, v, 1 1# 1 2 , 6) , 

les equations 

( q, -((b 2 (^ + y£ -r 2 )+l-2by k )/Q) 



(23) hfck.z*)- 



q, - haiU 4-y 2 + z* - r - 2b^ - 2ayJ / q)| 
q 2 - ((2ac{^ + y 2 + 2* - r 2 ) - 2c^ - 2a*) /Q> 
q 3 - ((2bc(^ + y 2 + ^ - r 2 ) - 2cy - 2b*) /q) 
q - ((cV, + y^+z;-r 2 )+l - 2c*)/q) 



= 0 



avec 



Q = a 2 (x 2 + y 2 + z 2 - r 2 ) + 1 - 2bx, 



expriment 



le 



passage entre le vecteur d'etat et les observations, ou 
qo, q4 sont issus d'une conversion des parametres 

(22) pour obtenir une representation de 1' ellipse sous 
forme implicite telle que u 2 +qov 2 +q 1 uv+q 2 u+q 3 v+q4=0 . 

Nous passons maintenant a la description du 
procede de reconstruction dans le cas particulier d'un 
capteur forme de deux cameras fixes l'une par rapport a 
1' autre, notees par leurs indices 1 et r et prenant 
simultanement une image. Pour un point, le vecteur 
d' observation global peut s ' exprimer par 

(24) z k = (u 1 , v 1 , u r , v r ,Xk, Pk, <* k , t xk , t yk , t 2k ) 



ou u 



V 



u 



et v r sont les coordonnees du point sur 



les deux images et les autres parametres sont les 
vecteurs d' orientation et de translation du capteur 
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dans le repere absolu. La fonction d' observation du 
point est alors donnee par 1' equation 

(25) hpCx^zJ = 1} =0, 
^ p (x k/ zJJ 

dont la solution (dont on aura remarque qu'il s'agit de 
5 duplication de 1' equation (11) pour les deux cameras) 
donne une evaluation du vecteur d'etat x k du point, 
compose des coordonnees x, y et z dans le repere 
absolu . 

La localisation d'une droite est 
10 conditionnee par l'obtention d'un vecteur d ' observation 
(26) z k = (u 1 , v 1 ^ 1 ,^, v r / 0 r / % k/ (3 k ,a k , t xk/ t yk , t 2k ) t 
et la resolution des equations 

de fagon analogue ; rappelons que les parametres 0 sont 
15 les angles des projections de la droite sur les images 
1 et r par rapport a 1 ' horizontale . II faut toutefois 
noter que, comme on observe des segments de droite 
plutot que des droites elles-meme, le vecteur d'etat 
d'une droite est donne par la formule 
20 (28) x k = (a, b,p,q) c , 

plutot que par les coordonnees d'un point de la droite 
et le vecteur directeur de cette droite. A chaque 
acquisition, la droite estimee par les parametres du 
vecteur d'etat a, b, p et q est exprimee sous forme 
25 d'une droite finie de parametres x, y, z, f$, q> et 1 ou 
la longueur du segment est designee par 1 et le milieu 
de ce segment par les coordonnees x, y et z . Ces 
dernieres coordonnees sont evaluees par une 
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reprojection dans 1' image. La definition des parametres 
a, b, p, q peut etre donnee ci-dessous : 

- la droite a un vecteur directeur (1, a, b, ) et un 
vecteur de position (0, p, q) sauf si elle est 

5 perpendiculaire a 1 ' axe O x ; 

- elle peut etre definie par le vecteur directeur (a, 
1, b) et un vecteur de position (p, 0, q) sauf si 
elle est perpendiculaire a 1 ' axe O y ; 

- et par un vecteur directeur (n, b, 1) et un vecteur 
10 de position (p, q, 0) sauf si elle est 

perpendiculaire a 1 ' axe O z . Une convention de 
preference permet de definir une priorite quand 
plusieurs de ces representations sont possibles. 

En ce qui concerne le cylindre, il est 
15 encore defini dans la representation par des parametres 
a,b,p, et q de son axe, et par son rayon, selon la 
f ormule 

(29) x k = (a,b,p,q,r) c . 
Le vecteur d' observation est defini par la 

2 0 f ormule 

(30) ^ = (ui^e^ut, v^^^^,^,^^^^,^,^,^,^)^ . 
Le sy st erne 

hcy( X k' Z k) 



(31) 



= 0 



doit etre resolu. Enfin, le cercle a vecteur d'etat 
25 defini par la formule 

(32) x k = (x,y, z, (5,<p, r) & , 
le vecteur d' observation defini par la formule 

(33) z, = (u\v^i£,#,u^i^^ 

et le sy st erne 
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(34) h cy (x k , zj = 



^cy ( X k ' Z k ) 



= 0 



doit etre resolu. 

A chaque nouvelle acquisition, 1 ' estimation 
de la position de 1'objet est affinee. Quand un objet 
5 apparait pour la premiere fois dans un couple d' images, 
cette estimation est initialisee par une reconstruction 
preliminaire par triangulation. Des methodes ont ete 
proposees dans 1 ' art . Une initialisation convenable 
permet de faire converger 1' estimation de position de 

10 1'objet rapidement a chaque nouvelle image. 

La reconstruction de 1 ' environnement 
tridimensional implique une localisation du capteur, 
dont la position n'est en general pas connue, ou n'est 
connue qu'avec une precision insuf f isante . A chaque 

15 nouvelle acquisition, on utilise les points deja 
reconstruits dans 1 ' environnement et leur vecteur 
d' observation pour effectuer une pre-localisation du 
capteur en recherchant 

(36) minCxk^k^k^x^y^^^lh^Xk^l 2 , 

j 

20 c'est-a-dire les valeurs % k , Pk, ct k , t xk , t yk , t 2k qui 
donnent la meilleure concordance entre la 
representation de 1 ' environnement et son image sur les 
cameras (h proche de 0), pour tous les points j du 
modele. Ensuite, on resout de maniere recurrente les 
2 5 equations 

(37) h P (x k , z k ) =0, h d (x k , z k ) =0, h cy (x k , z k ) =0, 
ou h c (x k/ z k ) =0 
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(une par objet deja reconstitue, selon la categorie de 
1' objet), ou les vecteurs d ' observations z k sont donnes 
par la formule 

(38) z k = (u 1 , v 1 , u r , v r ,x,y, z) c , 
5 z k =(u 1 ,v 1 i e 1 ,u r f v r / e r / x f y / z / p / (p) fc , 

ou z„ = (u\ v\ lj, 1*, 9\ u r , v r , 1£, 3J[, 9", x, y, z, p, q>, r)' 
appropriee : il s'agit d'une autre application du 
filtre de Kalman ou le vecteur d'etat estime est dans 

10 ce cas (Xk, Pk, OL kf t xk , t yk , t 2k ) . Le module 22 effectue cette 
localisation . 

Le module d' identification 23 du systeme 
permet d' identifier automatiquement au moins une partie 
des contours qui font 1' objet des calculs precedents, a 

15 chaque fois qu'une image est prise. On propose d'agir 
de la fagon suivante : 

— selectionner une image precedente k 0 , de preference 
proche de 1 ' image actuelle k en ce qui concerne les 
positions et orientations de prise de vue ; 

20 - selectionner des points d'interet I 0 sur cette image 
precedente k 0 , ce qui peut etre fait 
automatiquement, les points d'interet ayant comme 
propriete generale de presenter un gradient 
important de luminosite a leur voisinage, peu 

25 sensible en general aux changements de conditions de 

prise de vue (eclairage, zoom, exposition de la 
vue) . Un point caracteristique deja identifie a une 
image k 0 sera done le plus souvent identifie de 
nouveau sur une image suivante k, sauf s ' il est 

3 0 alors cache par un autre objet de 1 ' environnement ; 
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- quand les points d'interet I 0 et I k des deux images 
ont ete trouves , ils sont mis en correspondance 
d'une image a 1 ' autre ; on peut utiliser pour cela 
1 ' information de luminance au voisinage de chacun 

5 d'eux, qui est susceptible de les caracteriser au 

mieux ; elle est codee sous forme vectorielle en 
utilisant differents filtres. Le module recherche, 
pour chaque point d'interet I k de la nouvelle image 
k, celui des points d'interet l 0 de 1 ' image 

10 precedente k 0 qui lui est le plus similaire en 

calculant un score de correlation ou une distance 
vectorielle (voir par exemple les travaux de C. 
Schmid « Appariement d' images par invariants locaux 
de niveaux de gris », These de doctorat INPG, 

15 1996) ; 

- quand les correspondances entre couples de points 
d'interet, supposes provenir des projections 
respect ives sur les deux images d'un meme point de 
1 ' environnement , ont ete determinees, une matrice de 

20 correspondance entre les deux images a ainsi ete 

obtenue. II devient alors possible de projeter le 
modele tridimensionnel estime auparavant sur 1 ' image 
actuelle au moyen de cette matrice. Les contours 
ainsi obtenus servent d' estimation preliminaire de 

25 contours d'objets pour la nouvelle image k, et ils 

sont utilises en appliquant sur eux le procede 
explicite plus haut du module 20 en utilisant des 
modeles def ormables . L'operateur n'a done pas a 
recommencer completement la selection des contours 

30 sur la nouvelle image k. II peut evidemment 

rectifier des contours qui apparai traient comme 
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incorrects ou eliminer des contours occultes par 
d'autres objets de 1 ' environnement . Comme le 
programme est congu pour eliminer lui-meme les 
contours occultes par des objets deja incorpores au 
5 modele, l'operateur ne devrait eliminer que les 

contours occultes pour des objets qui n'ont pas 
encore ete identifies. II doit cependant introduire 
les contours apparaissant pour la premiere fois sur 
1 ' image k . 

10 Un dernier module est un calcul 

tridimensionnel en bloc. II est accompli par le module 
2 4 quand toutes les images de 1 ' environnement ont ete 
exploitees de la maniere qu'on a decrite et qu'une 
representation de 1 ' environnement a ete completee. Le 

15 calcul est mene de la fagon suivante : 

- A partir des parametres R£ et t£ a priori 
pour chaque image k, les projections des contours de la 
representation sur les plans d' image de la camera sont 
calculees ; 

20 - les ecarts entre les positions des 

contours projetes et les positions des memes contours 
evalues auparavant sur les memes images sont calcules ; 

les positions des contours dans la 
representation sont reevaluees afin de minimiser les 

25 ecarts. 

On procede en utilisant une methode des 
moindres carres en minimisant une erreur globale. Un 
vecteur x= (xgi ... xc n x M i x Mp ) T ou les Xg regroupent 

les parametres de tous les n objets de la 
3 0 representation et les x M regroupent les parametres des 
p prises de vue (a, 0, t x , t y , t z ) T peut etre defini, 
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ainsi qu'un vecteur z- de mesure qui regroupe 1 ' ensemble 
des observations faites pour chaque objet et pour 
chaque image. L'ajustement effectue par le module 24 
revient a la minimisation d'une f onctionnelle d'erreur 
5 F(x,z,a) ou a comprend des informations connues sur les 
moyens de prise d' image (par exemple leurs parametres 
intrinseques, centre optique, focale, coefficients 
d'echelle et de distorsion) , ou sur la representation 
(par exemple des parametres du vecteur x qui sont 

10 supposes bien determines ou connus) . Des ponderations 
des differents parametres peuvent etre introduites. Ce 
module 24 permet done d'evaluer les incertitudes de la 
representation de l'environnement et de les reduire en 
modifiant les parametres estimes de prise de vue . 

15 II est possible de corriger certains 

parametres ou de les bloquer. Les parametres utilises 
sont u et v pour le point, 0 et d (distance a l'origine 
du referentiel d' image) pour la droite et chaque limbe 
de cylindre. De plus, on utilise encore les coordonnees 

20 u et v des extremites des segments de droite et de 
cylindre . 

Le calcul en bloc est utilisable egalement 
pour effectuer la mesure de la position et de 
1 ' orientation d'un ou plusieurs objets au moyen d'une 

25 seule image et d'une camera. II sera necessaire pour 
cela de disposer d ' informations complementaires sur les 
objets : les caracteristiques geornetriques de chaque 
objet doivent etre connues et injectees dans le calcul 
en bloc. La mesure des projections dans une seule image 

30 de ces dites caracteristiques est suffisante alors pour 
determiner la position et 1 ' orientation de 1' objet. II 
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sera necessaire de veiller a disposer de 
caracteristiques en nombre suffisant pour evaluer tous 
les parametres de position et d' orientation . 
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REVEND I C AT XONS 

1. Procede de mesurage d'objets 

tridimensionnels d'un environnement tridimensionnel , 
consistant a prendre au moins une image par au moins 
5 une camera et a creer une representation de 
1 ' environnement d ' apres une analyse de 1 ' image , 
caracterise en ce que 1' analyse comprend une detection 
de discontinuites d' aspect de 1 ' image , une association 
des discontinuites detectees a des contours 

10 geometriques definis sur 1 ' image par des parametres, un 
ajustement des contours aux discontinuites en faisant 
varier les parametres, une estimation de forme et de 
position dans 1 ' environnement d'objets geometriques se 
projetant sur 1' image d' apres lesdits contours, la 

15 representation comprenant lesdits objets. 

2 . Procede de mesurage selon la 
revendication 1, caracterise en ce que les contours 
geometriques comprennent le point, la ligne droite, 
1' ellipse, et les objets comprennent le cercle, le 

20 cylindre, la droite et le point. 

3. Procede selon 1 ' une quelconque des 
revendications 1 ou 2, caracterise en ce que les 
parametres comprennent des coordonnees cartesiennes 
planes, des angles et des longueurs. 

25 4. Procede selon 1 ' une quelconque des 

revendications 1, 2 ou 3, caracterise en ce qu'il 
comprend, pour detecter les discontinuites d' aspect de 
1' image, une conversion des images en images de 
potentiel des points de 1' image, les potentiels etant 

3 0 calcules pour avoir une valeur extreme aux 
discontinuites . 
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5. Procede selon la revendication 4, 
caracterise en ce que le potentiel comprend un terme 
tenant compte de zones de tres faible intensite de 
niveau de gris des images . 
5 6. Procede selon l'une quelconque des 

revendications 1 a 5, caracterise en ce que 
1 ' estimation de position des objets est completee par 
une estimation de position de la camera d'apres la 
representation de 1 ' environnement et 1 ' image de la 
10 camera. 

7. Procede selon 1 ' une quelconque des 
revendications 1 a 6, caracterise en ce qu'il comprend 
des estimations initiales de position des objets ou de 
la camera a partir d' informations specif iees 

15 manuellement ou a travers un fichier informatique de 
description. 

8. Procede selon 1'une quelconque des 
revendications 1 a 7, caracterise en ce qu'il comprend 
une repetition des etapes de detection, d' association, 

20 d'ajustement et d' estimation pour chacune des images, 
la representation de 1 ' environnement etant rectifiee 
par des corrections de position des objets pour chacune 
des images . 

9. Procede selon la revendication 8, 
25 caracterisee en ce qu'une projection des contours des 

objets de la representation de 1 ' environnement est 
faite sur chaque nouvelle image avant la detection des 
discontinuites d' aspect de ladite nouvelle image. 

10. Procede selon la revendication 9, 
30 caracterise en ce que lesdits contours projetes sont 

ajustes sur les discontinuites d' aspect de 1' image. 
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11. Procede selon l'une quelconque des 
revendications 8 et 9, caracterise par des additions de 
contours geometriques et d' objets geometriques se 
projetant sur lesdits contours pour certaines au moins 

5 des nouvelles images. 

12. Procede selon l'une quelconque des 
revendications 1 a 11, caracterise par une correction 
de position des objets en estimant les positions de 
projection des objets sur les images d'apres les 

10 positions respectives de la camera quand les images 
furent prises, et en ajustant les positions de 
projection estimees d'apres les positions de projection 
mesurees sur les images . 
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(57) Means for analysing a model m In two dimensions comprising a linear camera 4 located at a given 
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MEANS FOR GENERATING THE GEOMETRY OF A MODEL IN TWO DIMENSIONS 
THROUGH THE USE OF ARTIFICIAL VISION 

The applicant is the holder of Spanish Patent no. 8802189 which 
specifies that the fundamentals of the system for generating the 
geometry of a model in two dimensions through the use of 
artificial vision is based on the following four stages: 

1. Acquisition/ digital encoding and storage of two-dimensional 
images • 

2. Extraction and storage of the perimeters of the geometries 
present in the image* 

3. Modelling of the perimeter by approximating the latter to 
straight and circular units. 

4. Conversion of the model obtained into DXF format 
(conventional format). 

in order ±o increase the accuracy of the system the applicant 
plane to use linear cameras instead of the matrix cameras which 
were used previously , as these give better spatial resolution. 
As a consequence item 1 relating to image acquisition is 
substantially amended. 

It has also been discovered how the automatic modelling algorithm 
should be modified ( item 3 ) . 

Items 2 and 4 are unchanged from the description in Spanish 
Patent no. 8802189. 

For a better understanding of the object of this invention a 
preferred embodiment thereof/ to which additional changes may be 
made without detracting from its fundamental nature, is 
illustrated in the drawings. 
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Figure 1 is a block diagram of the entire system incorporating 
the components identified in the main patent as a processing uni t 
(1) • 

Figure 2 is a diagrammatical representation of a model which is 
to be sc aimed by the system* 

Figure 3 is a diagram of the manner in which the system operates 
on the model in Figure 2. 

Stages 1 and 3, which have been changed in relation to the system 
in Spanish Patent no* 8802189/ are described below. 

1, Acquisition , digital encoding and storage of two dimensional 
images • 

For image acquisition the system comprises a linear camera (4) 
located at a given height above a moving table (2), which moves 
e.g. in one direction, and encloses a window or working area 
provided with a back-lighting system on which the piece (m) which 
is to be scanned is located. 

Table (2) starts from an initial position in which the vertical 
to the camera coincides with the start of the working window. 
Movement of table (2) is brought about by means of a motor <5), 
e.g. a stepping motor or closed loop DC motor, which is 
controlled by a processor (1) by means of a motor board (6). 

The procedure which has to be followed in order to obtain a 
digital two-dimensional image is as follows: 

- The camera (4) obtains an image line and encodes it digitally. 

- The line obtained is digitally encoded into binary for 
comparison with a previously defined digital threshold. 

The transitions in the binary image are calculated and stored. 
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- Table (2) is moved and the process of line acquisition, digital 
encoding, calculation and storage of transitions, and movement 
of the table, is repeated until the entire working area has been 
covered. 

This process yields a two-dimensional binary image of the part 
(m) being modeled, coded in the form of transitions associated 
with each line. 

The following parameters have been fixed in advance! 

- Camera exposure time for acquisition of the line. 
• Digital encoding threshold. 

- Speed of movement of the table, which is adjusted so that the 
aspect relationship or the horizontal/vertical relationship of 
the unit image is approximately 1, i.e. the image unit is square. 

A camera board (10) is provided for control of the camera (4) and 
this comprises (Figure 1): 

- a bus (b) interface (11), 

- a RS-422 adaptor (13), 

- a control module (12) which controls the exposure time, 
frequency and method of operation of camera (4). 

A motor board (6) is provided for control of motor (5) and this 
comprises : 

- a bus (b) interface (7), 

- a power pulse generator (9) , 

- a control module (8) which controls generator (9) and the rate 
and direction of movement* 

3, Modelling the perimeter by approximating the latter to 
straight and circular segments. 

The method is based on an iterative algorithm which searches for 
straight and circular segments around the perimeter. 
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There is an intermediate stage between the perimeter and its 
modelling which consists of extracting the basic shapes of which 
it is formed in accordance with a chain code which lines up 
points having the same code value. In this way the basic units 
consist of consecutive points in the same direction. 

The line and arcs search algorithm acts on chains of basic units, 
obtaining the geometry of the part from these. 

Let c (po,pn) be a chain of basic units which starts at point 
(po) and ends at point <pn). 

The algorithm operates as described below: 

- The radius (r x ) and the centre (O x ) of the circumference 
passing through <po, pn) and the mid-point (pn/2) is calculated. 

- If the radius (r x ) obtained is greater than a predetermined 
value (S) , r x > S a check has to be made to see whether or not 
the chain (C) (po, pn) forms a straight line. in order to do 
this: 

- The point (M) whiciris furthest from the straight line formed 
by the points (po and pn), which lies at a distance (a), is 
searched for in chain (C) (po, pn), 

- If this distance (a) is less than a certain predetermined value 
v a/ a < v J# it decides that (C) (po, pn) is a straight line, 

- if on the contrary a > v l# it runs the algorithm again 
subdividing chain (C) (po, pn) into two chains c(po.M) and 
C(M.pn) and repeats the procedure. 

- If the radius (r x ) obtained is less than the predetermined 
value (S), r < S, it has to check whether or not (C) (po, pn) is 
an arc of a circle. The steps are as follows: 
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- The distances (di) from points (P) to the centre of the 
circumference (0 X ) are calculated, 

- The point (M) of maximum error (dm - r y ) with respect to the 
theoretical radius (r,) of the circle segment formed by (po, pn) 
and the mid-point (pn/2) is searched for in chain (C) (po, pn), 

- If this error (dm -r x ) is less than a predetermined threshold 
v 2 , (dm - r x ) < V 2 , it decides that C (po, pn) forms an arc of a 
circle. 

- If this is not the case it again runs the algorithm on chains 
C(po,M) and C(M / pn). 

In this way we approximate the complete perimeter to a series of 
straight and circular units. 

In the case in Figure 3, and using the algorithm described, it 
is found that there is a straight unit from point (pn) to point 
pn/2 -* DE, another straight unit from mid-point pn/2 to further 
point M — * EF and an arc of a circle of radius (r 2 ) and centre 
(0 2 ) along the unit from M to Po — * FG. 

In this way the perimeter is reduced to: 

1. Straight lengths defined by their starting and ending points, 

2. Arcs of circles defined by their centre (0), their radius (r) 
and the starting and ending points of the arcs, determined 
preferably by their polar coordinates, so that the perimeter is 
perfectly defined/ i.e. modeled. 
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CLAIMS 

1. Means for generating the geometry of a model in two 
dimensions through the use of artificial vision, characterised 
in that it comprises a linear camera mounted above a table which 
is caused to move by a motor and which includes a working area, 
comprising : 

a) a first stage in which: 

&1 ) the linear camera acquires an image line and digitally 
encodes it, 

a 2 ) the line acquired is converted into binary for comparison 
with a previously determined binary threshold , 

a 3 ) the transitions in the binary image are calculated and 
stored, 

aj the table is moved and the previous steps are repeated until 
the working area is covered/ 

b) a second stage in which the perimeters of the geometries 
present in the image are extracted and stored, 

c ) a third stage in which the basic units making up the perimeter 
are extracted in accordance with a chain code which lines up 
points having the same code value, defines a starting point, an 
end point and a mid-point for the chain and applies a search 
algorithm incorporating the steps below to the chains of basic 
units: 

c A > the radius (r a ) and the centre of the circle passing through 
the start point, the end point and the mid-point are calculated, 
c 2 > if the value for the radius <r x ) is greater than a 
predetermined value (S) 

c 21 ) the point in the chain furthest from the straight line 
joining its start point and end point is searched for, 
c 2X1 ) if the said distance is less than a certain predetermined 
value the chain is taken to be a straight line, 

c 212 ) if the said distance is greater than a certain predetermined 
value the initial chain is subdivided into two chains whose end 
points aire the original starting point and the furthest point and 
the end point and the furthest point respectively, and the 
algorithm is applied again, 
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c 3 ) if the value for the radius <r x ) is less than the 
predetermined value (S) 

c 31 ) then a search is made for the point in the chain whose 
distance (a) from the circle mentioned is a maximum, the point 
of maximum error , 

c 3U ) if the said distance (a) is less than a predetermined value 
(V x ) the chain is taken to form the arc of a circle , 
c 3l2 ) if the said distance (a) is greater than the predetermined 
value <v 2 ) the chain is divided into two chains whose end points 
are the starting point and the point of maximum error and the end 
point and the point of maximum error respectively, the perimeter 
being reduced to straight units defined by the coordinates of 
their starting and end points and ax*cs of circles defined by 
their centres, radii and the coordinates of their start and end 
points. 

2 . Means for generating the geometry of a model in two 
dimensions through the use of artificial vision according to the 
foregoing claim, characterised in that the linear camera is 
controlled by a camera board comprising an interface bus, a 
camera adapter and a control module which controls the exposure 
time, frequency and manner of operation of the camera. 

3. Means for generating the geometry of a model in two 
dimensions through the use of artificial vision according to the 
foregoing claims, characterised in that the motor is controlled 
by a motor board comprising a bus interface, a power pulse 
generator and a module controlling the speed and direction of 
movement, and the generator. 

4. Means for generating the geometry of a model in two 
'dimensions substantially as hereinbefore described with reference 
to and as illustrated in the accompanying drawings. 
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Die Erfindung betrifft eine Anordnung zur koordina- 
tenmaBigen Ermittlung der Lage von Strukturen, Kan- 
ten und Formelementen nach dem Oberbegriff des er- 
sten Patentanspruches mit Hilfe fotoelektrischer x-, 
y-adressierter Sensoren im Durch- und Auflicht an Ko- 
ordinatenmeBgeraten. 

Zum koordinatenmaBigen Ermitteln von Strukturen 
mit Hilfe fotoelektrischer Sensoren im Durch- und Auf- 
licht an KoordinatenmeBgeraten werden unter anderem 
die zu bestimmenden Strukturen punktuell angetastet 
Je nach der aus Einzelmessungen gewonnenen Menge 
von MeBdaten werden mittels geeigneter mathemati- 
scher Algorithmen durch Rechner Verdichtungsopera- 
tionen durchgefiihrt, welche diese Strukturen, meist be- 
kannte geometrische Elemente wie Geraden, Kreise 
und EUipsen, mehr oder weniger gut beschrieben. In 
neuerer Zeit werden dazu zunehmend Sensoranordnun- 
gen verwendet, die aus rasterformig in Zeilen und Spal- 
ten angeordneten Einzeleiementen, sog. Pixeln, beste- 
hen. Da PixelgroBe und -abstand und die koordinaten- 
maBige Lage eines jeden Pixels auf der Sensoranord- 
nung bekannt sind, lassen sich die auf der Sensoranord- 
nung abgebildeten Strukturen und Kanten mathema- 
tisch beschreiben und maBlich erfassen. 

Aus der DE-OS 35 18 966 ist es bekannt, als x-, 
y-adressierten Sensor eine Festkdrperkamera mit Ma- 
trixanordnung der Sensorelemente in Verbindung mit 
einer Bildsignalverarbeitungseinheit zur Berechnung 
der Lage und Form einer Struktur zu verwenden. Dazu 
wird eine zu vermessende Strichkreuzmarke auf dem 
Sensor abgebildet Zwei ausgewahlte Spalten und Zei- 
len von Sensorelementen, die jeweils einen Abstand 
voneinander aufweisen, bilden vier Schnittpunkte mit 
der Strichkreuzmarke. Aus den Koordinaten dieser 
Schnittpunkte wird die Lage und Form der Strichkreuz- 
marke in x- und y-Richtung und eventuell deren Verdre- 
hung mit Hilfe der Bildsignalverarbeitungseinheit be- 
rechnet 

Ein Nachteil des Verfahrens und dieser Anordnung 
der Sensorelemente besteht darin, daB bei der prakti- 
schen Anwendung bestenf alls die Gleichungen und die 
Lage zweier sich schneidender Geraden und deren 
Schnittpunkt ermittelt werden konnen, da lediglich von 
einer Geraden an dem Schnittpunkt gegenuberliegen- 
den Enden Schnittpunkte mit Sensorelementen aus- 
wertbar sind. Formelemente, wie z. B. Kreise, Gewinde- 
profile, Zahnprofile oder zwei in einem Schnittpunkt 
endende Geraden sind nicht auswertbar. Selbst bei ge- 
ringem Abstand der beiden Spalten und Zeilen konnten 
derartige Strukturen nicht vermessen werden. 

Der Erfindung liegt die Aufgabe zugrunde, eine An- 
ordnung zur koordinatenmaBigen Ermittlung der Form 
und Lage von Strukturen, Kanten und Formelementen 
mit fotoelektrischen x-, y-adressierten Sensoren zu 
schaffen, mit welcher mit geringem geratetechnischen 
Aufwand und mit hoher Genauigkeit sowohl im Durch- 
als auch im Auflicht die koordinatenmaBige Ermittlung 
der Form und der Lage von Strukturen und Kanten 
durchgef Qhrt werden kann. 

ErfindungsgemaB wird diese Aufgabe bei einer An- 
ordnung zur koordinatenmaBigen Ermittlung der Form 
und Lage von Strukturen, Kanten und Formelementen 
mit den Merkmaien des kennzeichnenden Teils des er- 
sten Patentanspruches gelost Weitere Ausgestaltungen 
der Erfindung sind in den weiteren Anspruchen naher 
beschrieben. 



Die erfindungsgemaBe Anordnung erlaubt dadurch, 
daB stets mehr als zwei CCD-Sensoren zur Abtastung 
der auf der Sensoranordnung abgebildeten Struktur 
oder Kante benutzt werden, die Messung zusammenge- 
s setzter Linienzuge, z.B. Gewindeprofile oder zweier 
sich in einem Punkt schneidender Geraden oder andere 
Kantenformen, wie Kreis- und Zahnprofile. Hierbei 
kommt es auf die Anzahl der an der Abtastung beteilig- 
ten aktivierten CCD-Sensoren an. Da die Position der 

10 CCD-Sensoren auf der Sensoranordnung koordinaten- 
maBig bekannt ist, kann aus der bekannt en Position mit 
Hilfe der Bildsignalverarbeitungseinheit, die vorteilhaft 
mit einem Rechner gekoppelt ist, die zu messende 
Struktur oder Kante koordinatenmaBig berechnet wer- 

15 den. So kann z. B. aus den Positionen dreier CCD-Sen- 
soren, welche beim Zusammentreffen mit dem Bild der 
Struktur oder Kante ein Signal liefern, ein Kreisprofil 
bestimmt werden. Aus vier Positionen ist die Lage zwei- 
er in einem Punkt zusammenstoBender Geraden und 

20 damit Winkel bestimmbar. Zur Bestimmung komplizier- 
terer Kurvenf ormen konnen auch mehr als vier aktivier- 
te CCD-Sensoren verwendet werden. 

Werden zur Messung aktivierte CCD-Sensoren der 
Sensoranordnung benutzt, die auf mindestens zwei kon- 

25 zentrischen Kreisen liegen, so erhait man mindestens 
vier Punkte mit bekannter koordinatenmaBiger Posi- 
tion, die mit der zu messenden Struktur, Kante oder mit 
dem Formelement zusammentreffen. Da die Position 
dieser Punkte bekannt ist, kann aus den von den betref- 

30 fenden CCD-Sensoren an die Bildsignalverarbeitungs- 
einheit gelieferten x-y-adressierten Signalen das zu mes- 
sende Formelement nach Form und Lage bestimmt 
werden. 

Vorteilhaft ist es, auf konzentrischen Kreisen liegen- 

35 de CCD-Sensoren fur die Messungen zu verwenden, 
weil in diesem Falle der Abstand der Kreise leicht durch 
Auszahlen der Sensoren zwischen den beiden Kreisen 
ermittelt werden kann. Auch sind die Mittelpunktkoor- 
dinaten der Kreise leicht bestimmbar. Die Anwendung 

40 von Kreisen ermoglicht in einfacher Weise eine rich- 
tungsunabhangige Messung, wodurch auch die Messung 
beliebig gerichteter Formelemente wesentlich verein- 
facht wird. Durch Veranderung der Radien der Kreise 
lassen sich vorteilhafte Schnittbedingungen mit den zu 

45 messenden Strukturen und Kanten erzielen. So kdnnen 
auch kleine Gewinde- oder Zahnprofile mit geringen 
MeBzeiten vermessen werden. Eine einf ache Richtungs- 
erkennung erlaubt die Ableitung von Steuerbefehlen filr 
eine selbsttatige Messung und tragt zur Erhdhung des 

50 Automatisierungsgrades der MeBprozesse bei 

Je nach Anwendungszweck konnen die aus den akti- 
vierten CCD-Sensoren gebildeten geschlossenen linien- 
formigen Rguren auch Quadrate, Rechtecke, Ellipsen 
oder Dreiecke oder anderer geeignete Figuren sein. Sie 

55 konnen vorteilhaft auch jeweils konzentrisch sein. Auch 
kdnnen diese linienformigen Figuren auf der Sensoran- 
ordnung auch in ihrer GrdBe und ihrer Position veran- 
derbar sein. 

Die Erfindung soli nachstehend an einem Ausfuh- 
60 rungsbeispiel naher erlautert werden. In der Zeichnung 
zeigen 

Fig. 1 schematisch den optischen Aufbau einer erfin- 
dungsgemaBen Anordnung, 

Fig. 2 eine Sensoranordnung mit mehreren Kreisen, 
65 Fig. 3 eine Sensoranordnung mit konzentrischen 
Kreisen und 

Fig. 4 eine Sensoranordnung mit drei konzentrischen 
Quadraten. 
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Die in Fig. 1 schematised dargestellte Anordnung zur 
Messung von Strukturen, Kanten und Formelementen 
umfaBt eine Lichtquelle 1 und erne Beleuchtungsoptik 2 
zur Beleuchtung einer zu messenden Struktur 3 oder 
Kante eines MeBobjektes 4, welches auf einem in Pfeil- 5 
richtung bewegbaren MeBtisch 5 eines MeBgerates an- 
geordnet ist Durch eine in Lichtrichtung dem MeBtisch 
5 nachgeordnete Abbildungsoptik 6 wird die anzuta- 
stende bzw. zu vermessende Struktur 3 in die Ebene 
einer fotoelektrischen Sensoranordnung 7 abgebiidet, 10 
welche x-y-adressierte, in Zeilen und Spalten mit be- 
kanntem gegenseitigen Abstand voneinander angeord- 
nete fotoelektrische CCD-Sensoren 8 umfaBt Diese 
Sensoranordnung 7 ist uber eine elektrische Verbin- 
dung 9 mit einer Bildsignalverarbeitungseinheit (BVE) 15 
10 oder einem entsprechenden Rechner verbunden. Das 
Bild der zu vermessenden Struktur 3 ist in Fig. 1 mit 11 
bezeichnet Auf der Sensoranordnung 7 sind f erner zwei 
konzentrische Kreise 13 und 14 eingezeichnet, auf de- 
nen CCD-Sensoren 12 gesondert gekennzeichnet sind. 20 
Diese CCD-Sensoren 12 werden von dem Bild 1 1 der 
abgebildeten Struktur oder Kante iiberdeckt und sind 
derart aktiviert daB sie ein elektrisches Signal an die 
BVE 10 zur Weiterverarbeitung Iiefern. Die Aktivierung 
der entsprechenden CCD-Sensoren erfolgt in bekannter 25 
Weise, so daB beim Zusammentreffen rnit der auf sie 
abgebildeten Struktur oder Kante ein elektrisches Si- 
gnal zur Weiterverarbeitung erzeugt wird. Aus den auf 
diesem Wege durch die aktivierten x-y-adressierten 
CCD-Sensoren (12) erzeugten Signalen werden durch 30 
die BVE 10 die Lage und/oder die Form der Struktur 3 
berechnet. 

Wie in Fig. 2 dargestellt, ist es nicht erf orderlich, daB 
die aktivierten CCD-Sensoren 12 auf geschlossenen 
konzentrischen Linienziigen 15 vorgesehen sind, um das 35 
Bild 1 1 einer Struktur 3 auswerten zu konnen. 

Fig. 3 zeigt beispielsweise eine Sensoranordnung 7 
mit CCD-Sensoren 8, bei welcher die aktivierten CCD- 
Sensoren 16, 17, 18, 19 auf zwei konzentrischen Kreisen 
20 und 21 gelegen sind. Abgebiidet ist auf diese Sensor- 40 
anordnung 7 eine Struktur 22, die durch zwei Geraden 
23 und 24 begrenzt ist, welche in einem Punkt P zusam- 
menlaufen. Aus den Signalen der CCD-Sensoren 16 und 
17 ist die Lage der Gerade 23 berechenbar und aus den 
Signalen, die von den CCD-Sensoren 18 und 19 geliefert 45 
werden, bestirnmt sich die Lage der Gerade 24. Mit 
Hilfe aller vier von den CCD-Sensoren 16, 17, 18 und 19 
der BVE 10 zugefuhrten elektrischen Signale konnen 
die Koordinaten des Punktes P und auch der Schnitt- 
winkel der Geraden 23 und 24 berechnet werden. Auf 50 
diese Weise ist auch z. B. ein Gewindeprofil bestimmbar. 

Auf der Sensoranordnung nach Fig- 4 sind auf drei 
konzentrischen Quadraten 25, 26 und 27 gelegene CCD- 
Sensoren 28 derart aktiviert, daB sie beim Zusammen- 
treffen mit dem zu vermessenden BUd 29 der Struktur 3 55 
Signale an die BYE 10 Iiefern, aus denen die Form und 
die Lage der Struktur 3 errechenbar ist. 

Je nach GrdBe und Form der zu vermessenden Struk- 
tur sind auch die GrdBe und Lage der geschlossenen 
Linienziige, auf denen die aktivierten CCD-Sensoren 60 
vorgesehen sind, veranderbar, desgleichen auch die An- 
zahl der aktivierten CCD-Sensoren auf der Sensoran- 
ordnung. So ist z. B. aus den elektrischen Signalen dreier 
aktivierter CCD-Sensoren ein Kreis eindeutig bestimm- 
bar. Vier CCD-Sensoren werden bendtigt zur Berech- 65 
nung zweier sich schneidender Geraden; funf Sensoren 
zur Bestimmung einer Ellipse. Fur andere zu bestim- 
mende geometrische Figuren kann die Anzahl der akti- 



vierten CCD-Sensoren auch groBer sein. 

Patentanspriiche 

1. Anordnung zur Ermittlung der Form und Lage 
von Strukturen, Kanten und Formelementen, um- 
fassend eine fotoelektrische Sensoranordnung mit 
x-y-adressierten, in Zeilen und Spalten mit bekann- 
tem gegenseitigen Abstand voneinander angeord- 
neten CCD-Sensoren 

und eine, die zu messende Struktur oder Kante auf 
die Sensoranordnung abbildende Abbildungsoptik, 
wobei die Sensoranordnung mit einer Bildsignal- 
verarbeitungseinheit zur Berechnung der Form 
und/oder der Lage der Struktur oder Kante elek- 
trisch verbunden ist, dadurch gekennzeichnet, 
daB aus der Gesamtmenge der auf der Sensoran- 
ordnung (7) vorgesehenen CCD-Sensoren (8) eine 
Untermenge von CCD-Sensoren (12; 16; 17; 18; 19; 
28), die mehrere geschlossene linienformige geo- 
metrische Figuren bilden zur Abtastung der zu 
messenden Struktur (3) oder Kante derart aktiviert 
sind, daB durch diese aktivierten CCD-Sensoren 
(12; 16; 17; 18; 19; 28) beim Zusammentreffen mit 
dem Bild (11; 22) der auf sie abgebildeten Struktur 
(3) oder Kante ein elektrisches Signal zur Weiter- 
verarbeitung an die Bildsignalverarbeitungseinheit 
(10) ableitbarist 

2. Anordnung nach Anspruch 1, dadurch gekenn- 
zeichnet, daB aus der Gesamtmenge der die Sen- 
soranordnung (7) bildenden CCD-Sensoren (8) die 
auf mindestens zwei vorzugsweise konzentrisch zu- 
einander vorgesehenen geschlossenen linienformi- 
gen Figuren liegenden CCD-Sensoren (12; 16; 17; 
18; 19; 28) zur Abtastung der zu messenden Struk- 
tur (3) oder Kante aktiviert sind. 

3. Anordnung nach Anspruch 1 und 2, dadurch ge- 
kennzeichnet, daB die linienformigen Figuren auf 
der Sensoranordnung (7) konzentrische Kreise (13; 
14; 20; 21), Ellipsen, Quadrate (25; 26; 27), Rechtek- 
ke oder Dreiecke sind 

4. Anordnung nach Anspruch 1 und 3, dadurch ge- 
kennzeichnet, daB die linienformigen Figuren auf 
der Sensoranordnung (7) in ihrer GrdBe und Lage 
veranderbar sind 
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